Per valutare il successo bisogna considerare il “pregiudizio di sopravvivenza”

Nel 1942 un gruppo di scienziati della Columbia University a New York avviò su richiesta del governo americano una serie di analisi e studi di supporto alle attività dell’esercito. Gli Stati Uniti erano entrati da pochi mesi in guerra, in seguito all’attacco a sorpresa subìto alla base navale di Pearl Harbor, e il lavoro di quel gruppo di scienziati – lo Statistical Research Group (SRG), formato perlopiù da matematici – sarebbe servito a migliorare il controllo statistico della qualità dell’industria militare e a perfezionare le strategie e le attrezzature.

Tra i membri del gruppo di ricerca c’era Abraham Wald, un quarantenne matematico ungherese di origini ebraiche, fuggito dall’Austria tre anni prima, durante l’occupazione nazista. Si racconta che Wald, interpellato dalla marina militare statunitense, individuò un errore logico – definito pregiudizio di sopravvivenza – in un ragionamento degli ingegneri che stavano studiando un modo per rendere meno vulnerabili gli aerei degli Alleati. Analizzando i fori di proiettile sulle fusoliere degli aerei rientrati dopo le missioni i militari pensarono in un primo momento di dover aggiungere protezioni nei punti più danneggiati. Wald la pensava diversamente: i punti non danneggiati erano proprio quelli da proteggere, perché indicavano che gli aerei colpiti in quei punti erano evidentemente stati abbattuti dalle forze avversarie e non avevano mai fatto ritorno alla base.

Per questo aneddoto, Wald – noto per i suoi studi sulla statistica – è un personaggio oggi citato spesso in relazione al pregiudizio di sopravvivenza, un errore che si presenta quando, nella valutazione di una situazione, ci si concentra soltanto sulle persone o sulle cose che hanno superato un determinato processo di selezione, e si trascurano tutti gli altri elementi per via della loro stessa invisibilità. È alla base di ragionamenti fallaci frequenti in analisi e discorsi inerenti a discipline e attività umane disparate, dalla finanza alle arti, e può portare a conclusioni estremamente fuorvianti.

Il difetto che Wald individuò nel ragionamento della Marina militare statunitense – secondo le ricostruzioni più accreditate e condivise di questa storia, e al netto di alcuni indubbi tratti leggendari – rappresenta ancora oggi una delle formulazioni più chiare di questo pregiudizio.

– Leggi anche: Manuale per una sana conversazione

Abraham Wald e i danni “invisibili”
Nei primi anni della Seconda guerra mondiale la contraerea e gli aerei della Luftwaffe, l’aviazione militare tedesca, avevano inflitto numerose perdite alle forze avversarie, e in particolare a quelle della Royal Air Force britannica. In mancanza di migliori contromisure realizzabili in tempi rapidi, gli Alleati decisero di rafforzare la struttura dei loro aerei tenendo conto di dover necessariamente bilanciare il bisogno di proteggere le parti più esposte e vulnerabili con quello di non appesantire troppo i mezzi.

I dati raccolti dalla Marina militare statunitense mostrarono che gli aerei rientrati dalle missioni riportavano fori di proiettile e altri danni soprattutto in determinati punti della fusoliera e non in altri. Si racconta che i responsabili delle operazioni di potenziamento dei mezzi abbiano a quel punto raccomandato di aggiungere protezioni balistiche nei punti più danneggiati, ossia principalmente le ali e la coda. Gli scienziati dello Statistical Research Group – tra i quali l’economista e futuro premio Nobel George Stigler – furono interpellati per valutare quella decisione.

Dopo aver esaminato gli stessi dati studiati dall’esercito, Wald arrivò alla conclusione opposta: e cioè che occorresse invece proteggere i punti privi di danni, il motore e il serbatoio. Nel ragionamento degli ingegneri militari era assente la considerazione di un dato fisicamente “invisibile”: erano cioè stati analizzati soltanto gli aerei che avevano effettivamente fatto rientro alla base alla fine delle missioni. Erano invece rimasti esclusi dalla valutazione tutti quelli abbattuti, che presumibilmente erano stati colpiti proprio nei punti che bisognava proteggere.

Quello che Wald aveva fatto era individuare un particolare tipo di difetto nel set di dati, oggi convenzionalmente descritto come pregiudizio di sopravvivenza. Gli aerei che era stato possibile analizzare non fornivano esempi di dove gli aerei venivano colpiti più frequentemente: fornivano esempi di dove gli aerei potevano essere colpiti dai proiettili senza che il danno fosse sufficiente ad abbatterli.

Il lavoro di Wald è oggi considerato fondamentale per il contributo che diede alla nascita della ricerca operativa, la disciplina che studia i problemi decisionali complessi nei sistemi organizzati, e i metodi e i modelli matematici utili a prevedere il comportamento di questi sistemi e a individuare le decisioni che ne ottimizzino le prestazioni. Wald morì pochi anni dopo, il 13 dicembre 1950, in un incidente aereo in India meridionale, mentre viaggiava per partecipare a una serie di conferenze.

Il pregiudizio di sopravvivenza
In linea generale il particolare pregiudizio di selezione descritto nel caso classico degli aerei analizzati da Wald può portare a convinzioni eccessivamente ottimistiche determinate da una tendenza a ignorare i fallimenti. È presente un pregiudizio di sopravvivenza, per esempio, quando le analisi delle prestazioni finanziarie escludono società che non esistono più ma rappresentano dati rilevanti.

Se il titolare di un’attività di ristorazione decide di aprire un ristorante in una città basando la sua valutazione sul fatto che in quella città ci sono numerosi ristoranti di successo, potrebbe essere incappato in un pregiudizio di sopravvivenza. Potrebbe cioè ignorare che quei ristoranti di successo da lui scelti come esempi siano la parte “sopravvissuta” di un insieme molto più ampio. Se in quella città il 90 per cento dei ristoranti fallisce nel primo anno, per esempio, quei fallimenti non sono immediatamente visibili ma dovrebbero comunque rientrare nelle valutazioni iniziali del ristoratore. E non è un’operazione semplicissima perché, come scrive il saggista libanese Nassim Nicholas Taleb nel libro Il cigno nero. Come l’improbabile governa la nostra vita, «il cimitero dei ristoranti falliti è molto silenzioso».

Spesso la fuorviante convinzione ottimistica iniziale si accompagna a sua volta a quella secondo la quale un determinato gruppo di successo presenterebbe una proprietà speciale, quando invece quella proprietà potrebbe essere una semplice coincidenza. O si ritiene che il successo sia determinato da una scelta comune a tutto il gruppo. Ma «una decisione stupida che funziona bene diventa una decisione brillante con il senno di poi», avverte lo psicologo israeliano e premio Nobel per l’economia Daniel Kahneman, nel saggio Pensieri lenti e veloci.

Se tre dei cinque studenti con i migliori voti all’università provengono dalla stessa scuola superiore, un pregiudizio di sopravvivenza potrebbe indurre a credere che quella scuola superiore offra un’istruzione eccellente. Ma in mancanza di altri dati la realtà potrebbe anche essere che quella scuola superiore è soltanto una scuola molto grande. Per una valutazione corretta sul tipo di istruzione offerta servirebbe includere anche i voti degli studenti non “sopravvissuti” al processo di selezione.

«Se raggruppate i successi in un insieme e cercate lì dentro ciò che li rende simili, l’unica vera risposta sarà la fortuna», scrive Kahneman.

– Leggi anche: Abbiamo un pregiudizio sugli zoo?

Negli studi clinici
Il pregiudizio di sopravvivenza è una categoria perfettamente nota nel campo della ricerca. Per condurre gli studi clinici la pratica prevede che i casi selezionati siano il più possibile rappresentativi della popolazione che si intende analizzare. E in molti ambiti di ricerca questo implica che il reclutamento avvenga il prima possibile proprio per limitare il pregiudizio di sopravvivenza.

Uno studio condotto nel 2010 dalla Harvard Medical School e dal Beth Israel Deaconess Medical Center (BIDMC) a Boston, Massachusetts, è un esempio citato di studio interrotto a causa di un pregiudizio di sopravvivenza. L’obiettivo dei ricercatori era quello di stimare il ruolo di un certo tipo di cure per la sopravvivenza di pazienti che avevano subìto un trauma. Nello specifico venivano studiati casi di pazienti che avevano subìto una serie di 4-8 trasfusioni entro le prime 12 ore dopo il trauma.

Nelle intenzioni dei ricercatori lo studio avrebbe dovuto includere 1.502 pazienti ma fu arrestato dopo che ne furono reclutati soltanto 573. I casi riportati nello studio avevano infatti tutti ricevuto cure al pronto soccorso ed erano finiti in terapia intensiva, e avevano tutti avuto tempo sufficiente per ricevere almeno 4 trasfusioni. Allo studio mancavano – per ineliminabili difficoltà nel reclutarli – i casi di pazienti che avevano subìto un trauma ma erano morti prima ancora di arrivare in ospedale. E fu il dato inatteso sulla bassa mortalità a suggerire ai ricercatori di interrompere lo studio.

Il pregiudizio di sopravvivenza nel genere
Nel 2017 uno studio della California Polytechnic State University e della North Carolina State University concluse che i codici di sviluppo di software open source compilati da programmatrici donne avevano più possibilità (78,6 per cento) di essere accettati rispetto alle possibilità (74,6 per cento) dei codici compilati da programmatori di sesso maschile. Per lo studio i codici venivano sottoposti alla revisione senza che fosse noto il genere dell’autore o dell’autrice. In molti lo descrissero come una prova del fatto che le donne fossero più brave degli uomini a programmare, incappando però in un pregiudizio di sopravvivenza: lo studio descriveva in verità una realtà molto più complessa.

Secondo un sondaggio del 2013 soltanto l’11 per cento dei programmatori di software open source negli Stati Uniti è una donna. E secondo altri dati condivisi dal Bureau of Labor Statistics – un’unità del Dipartimento del Lavoro degli Stati Uniti – nel 2015 la percentuale di donne impiegate in occupazioni informatiche e matematiche (un gruppo che include lo sviluppo Web e di software) era del 24,7 per cento. Nello stesso studio del 2017, di conseguenza, la popolazione presa in considerazione era in larghissima parte maschile.

Le donne finite nello studio erano quindi delle “sopravvissute”. Mancavano tutti i dati riferiti all’insieme molto più ampio formato in gran parte da persone che, secondo diversi resoconti, affrontano difficoltà specifiche e per molte di loro insormontabili all’interno di una comunità in larghissima parte composta da uomini. In un certo senso diede prova di questo quadro lo stesso studio perché mostrò, tra le altre cose, che i codici compilati da programmatrici avevano meno probabilità di essere accettati quando era noto ai supervisori il fatto che fosse compilato da donne.

Un altro possibile fattore di squilibrio nel caso dell’open source, commentò Slate, è dato dalla “sindrome dell’impostore”. L’esperienza di non sentirsi all’altezza di un determinato contesto lavorativo – descritta come molto comune tra le donne che fanno parte di minoranze professionali – potrebbe rendere le programmatrici più riluttanti a sottoporre il loro codice al controllo pubblico sulle piattaforme di sviluppo di software open source.

– Leggi anche: Non siamo fatti per accettare la realtà

Nei discorsi quotidiani
Nei discorsi più comuni e quotidiani, per fare altri esempi, c’è spesso un pregiudizio di sopravvivenza anche nell’affermazione secondo la quale non si fanno più le cose come si facevano una volta (intendendo che una volta le si faceva meglio). Capita di sentirla quando, per esempio, si commenta la resistenza di uno smartphone o di un’automobile che hanno superato una certa “prova del tempo” ritenuta significativa dall’osservatore. Ma lo si dice in genere davanti agli esemplari “sopravvissuti”, trascurando i milioni di esempi – prodotti in quegli stessi anni e dalle stesse aziende – finiti nelle discariche di tutto il mondo e di gran lunga superiori in quantità rispetto agli esemplari sopravvissuti.

Vale in parte anche per la musica, una materia che – pure al netto di gusti e sensibilità personali difficilmente trascurabili – viene spesso raccontata e descritta in discorsi che possono contenere un pregiudizio di sopravvivenza. Parlando di musica – e non di singole canzoni – è frequente attribuire a quella dei decenni passati un maggior valore rispetto a quella attuale. Una premessa su cui gli addetti generalmente concordano è che l’industria di oggi renda concretamente più facile ascoltare e scoprire grandi quantità di musica. L’ipotesi prevalente è quindi che insieme alla musica di buona qualità sia cresciuta parallelamente anche quella meno buona: ma il pregiudizio di sopravvivenza, in questo caso, porta a ignorare la musica scadente o dimenticabile del passato, concentrandosi su quella memorabile, e quindi impedisce una corretta analisi di quanto e se sia effettivamente cambiato il rapporto tra l’una e l’altra.

Quali che siano le conclusioni di questa valutazione, per evitare di incappare in un pregiudizio di sopravvivenza è bene tenere a mente che con il passare del tempo tendiamo a descrivere come esemplari di un certo decennio le canzoni più conosciute e popolari di quel periodo, ma trascuriamo – o ignoriamo del tutto – le altre. «I film sul Vietnam sembrano non includere mai nelle loro colonne sonore canzoni che fanno schifo», scrive il giornalista David McRaney, autore del popolare blog YouAreNotSoSmart.

– Leggi anche: Breve storia dei no vax

I racconti delle persone di successo
È molto frequente in un certo tipo di stampa periodica la produzione di articoli che si occupano di atleti, imprenditori e altri personaggi di successo descrivendone caratteristiche comuni. Spesso si cita l’interruzione degli studi universitari da parte di miliardari come Bill Gates o Mark Zuckerberg.

Si è quindi indotti a trarre la conclusione che quelle persone debbano almeno in parte le loro fortune al fatto di essersi opposte ai percorsi convenzionali. In questo genere di articoli non si trova però quasi mai alcuna stima della quantità di persone che in quelle stesse università hanno abbandonato gli studi e non sono diventati miliardari. In un quadro più completo di dati sarebbe opportuno aggiungere che, per esempio, nel 2018 il tasso di occupazione dei laureati nel Regno Unito era dell’88 per cento; quello dei non laureati era del 72 per cento. E lo stipendio annuale medio dei laureati era di 34 mila sterline (circa 40 mila euro), mentre quello dei non laureati era di 24 mila sterline (circa 28 mila euro).

Nel caso degli articoli sulla vita e sulla formazione dei miliardari, l’insieme dei dati è selezionato in partenza, e quei dati possono innescare il pregiudizio di sopravvivenza perché non permettono di rilevare gli effetti invisibili subiti invece dai non “sopravvissuti”. Quei miliardari sono, per dirla con la storia di Wald, gli aerei rientrati alla base con i fori di proiettile sulle ali. «L’informazione che una certa persona abbia ottenuto dei profitti in passato, presa in sé, non è né significativa né rilevante: serve conoscere la dimensione del gruppo da cui proviene», scrive Taleb nel saggio Giocati dal caso.

Il problema di certi discorsi pubblici tenuti da persone di successo, scrive McRaney, è che raramente contengono consigli su cosa non fare o su cosa cercare di evitare. E non li contengono perché quei relatori semplicemente non lo sanno: queste informazioni vanno perdute insieme a tutte le persone che non finiscono sulla copertina di una rivista o non vengono invitate a parlare agli studenti. «Il business dei consigli è un monopolio gestito dai sopravvissuti», sintetizza McRaney.

Il pregiudizio di sopravvivenza latente in molte descrizioni delle persone di successo porta a sovrastimare la frequenza stessa del successo. Induce infatti ad attribuire a un numero esiguo di “sopravvissuti” il privilegio di rappresentare il gruppo molto più ampio al quale appartenevano originariamente.